Theo các sách sử đã viết thì vung đất huyện Sơn Tây từ đầu thế kỷ XV nằm trong địa phận Cỗ Luỹ động, thuộc lãnh thổ quốc gia Đại Ngu dưới triều Nhà Hồ.

Sau nhiều thế kỷ biến đổi, năm 1832 (niên hiệu Minh Mạng thứ 13), Cổ luỹ động trở thành tỉnh Quảng Nghĩa, về sau gọi là tỉnh Quảng Ngãi. Tỉnh Quảng Ngãi gồm 6 phủ, huyện trung châu và bốn nguồn thượng du, trong đó có nguồn "Cù Bà" sau được đổi tên "nguồn Thanh Cù" có đặt thủ sở cách huyện Bình Sơn 23 dặm về phía Tây. Năm 1899 (niên hiệu Thành Thái thứ 11), nguồn thanh cù đổi thành "Tổng ca dong" nằm trong châu "Sơn Hà". Đây là nơi sinh sống của đồng bào dân tộc Ca Dong.

Cách mạng Tháng Tám năm 1945 thành công, chính quyền cách mạng đổi các Phủ, Huyện, Châu thành đơn vị huyện thuộc tỉnh; ghép nhiều làng, sách, nóc nhỏ thành đơn vị xã thuộc huyện, bỏ cấp tổng. Châu Sơn Hà đổi thành huyện Sơn Hà. Các làng thuộc tổng Ca Dong được ghép lại thành một xã mang tên xã Sơn Tinh trực thuộc huyện Sơn Hà; phía Bắc sông Rin gọi là bắc Sơn Tinh, phía Nam sông Rin gọi là Nam Sơn Tinh.

Năm 1952, Uỷ ban kháng chiến hành chính Miền Nam Trung Bộ chuẩn y đề nghị của huyện Sơn Hà và tỉnh Quảng Ngãi, chia xã Sơn Tinh thành 2 xã: Bắc sông Rin gọi là xã Sơn Liên; nam sông Rinh gọi là xã Sơn Tinh đến cuối năm 1952, xã Sơn Liên chia thành 3 xã: Sơn Mùa, Sơn Bao, Sơn Sơn Liên; xã Sơn Tinh chia thành 4 xã: Sơn Tinh, Sơn Dung, Sơn Màu và Sơn Long. Cũng trong năm này tỉnh Kon Tum giao xã Sơn Bua cho huyện Sơn Hà, tỉnh Quảng Ngãi.

Trong thời kỳ chống Mỹ cứu nước, thực hiện chủ trương của liên khu uỷ Khu V "Xây dựng căn cứ địa miền núi" phục vụ kháng chiến, ngày 20/7/1957, Tỉnh uỷ Quảng Ngãi quyết định tách 8 xã vùng cao Sơn Hà (Sơn Liên, Sơn Bua, Sơn Mùa, Sơn Bao, Sơn Tinh, Sơn Dung, Sơn Màu, Sơn Long) thành lập Khu 7, một đơn vị hành chính tương đương cấp huyện.

Năm 1959, tỉnh Kon Tum tiếp tục giao làng Dũi, làng Tinh, Làng Xăng, làng B´reo, làng Dật, làng Lũ, làng Rễ, làng Gĩô, làng Trăng cho khu 7 lập thành xã Sơn Tân. Từ đây khu bảy có 10 xã. Giữa năm 1959, tỉnh Kon Tum giao cho tỉnh Quảng Ngãi 6 làng của huyện Kon Plông, tỉnh Quảng Ngãi đem 6 làng này nhập với 3 làng của xã Sơn Màu và 1 làng của xã Sơn Kỳ hình thành xã Sơn Lập thuộc Khu 7.

Đến năm 1965, Khu 7 chính thức được gọi là huyện Sơn Tây.

Năm 1970, huyện Sơn Tây cùng các xã Tây Trà Bồng, Đông Trà Bồng (trừ các xã Trà Xuân, Trà Phú, Trà Hoà) lập thành khu Sơn Trà trực thuộc khu V.

Đến cuối năm 1972, khu Sơn Trà giải thể, huyện Sơn Tây trở về đơn vị hành chính như trước.

Từ năm 1976, thực hiện chủ trương của TW Đảng và Chính phủ, huyện Sơn Tây hợp nhất với huyện Sơn Hà thành một huyện, mang tên huyện Sơn Hà. Sau đó 10 xã trên địa bàn huyện Sơn Tây hợp nhất thành 4 xã: Sơn Mùa, Sơn Tinh, Sơn Tân và Sơn Dung.

Ngày 6 tháng 8 năm 1994, Thủ tướng Chính phủ ban hành Nghị định số 83/NĐ-CP[2] chia huyện Sơn Hà thành hai huyện Sơn Hà và Sơn Tây.

Sau khi tái lập, huyện Sơn Tây có 41.893 ha diện tích tự nhiên và 13.315 người với 4 xã: Sơn Tân, Sơn Mùa, Sơn Dung và Sơn Tinh. Huyện lỵ của huyện đặt tại xã Sơn Dung.[1]

Ngày 23 tháng 6 năm 1999, Chính phủ ban hành Nghị định số 39/1999/NĐ-CP[5]. Theo đó, chia xã Sơn Mùa thành hai xã Sơn Mùa và Sơn Bua; chia xã Sơn Tinh thành hai xã Sơn Tinh và Sơn Lập.

Năm 2005, huyện lỵ của huyện được dời từ xã Sơn Dung về xã Sơn Mùa.[1]

Ngày 23 tháng 12 năm 2008, Chính phủ ban hành Nghị định 10/NĐ-CP[6]. Theo đó, chia xã Sơn Dung thành hai xã Sơn Dung và Sơn Long; chia xã Sơn Mùa thành hai xã Sơn Mùa và Sơn Liên; chia xã Sơn Tân thành hai xã Sơn Tân và Sơn Màu.

Huyện Sơn Tây có 9 xã trực thuộc như hiện nay.